Как алгоритъм отказа храна на хиляди бедни в Телангана в Индия
Тази история е създадена с подкрепата на мрежата за отчетност на AI на Pulitzer Center.
Хайдерабад и Ню Делхи, Индия – Bismillah Bee не може да си представи да притежава кола. 67-годишната вдовица и 12 членове на семейството й живеят в тясна тристайна къща в градски квартал в Хайдерабад, столицата на индийския щат Телангана. Откакто съпругът й, който тегли рикша, почина преди две години от рак на устата, Би изкарва прехраната си, като бели чесън за местен бизнес.
Но алгоритмична система, която правителството на Телангана внедрява, за да направи дигитален профил на своите над 30 милиона жители, маркира съпруга на Би като собственик на кола през 2021 г., когато той все още беше жив. Това я лиши от субсидираната храна, която правителството трябва да осигури на бедните според индийския закон за хранителната сигурност.
По този начин, когато пандемията от COVID-19 бушува в Индия и ракът на съпруга й беше достигнал връхната си точка, Би тичаше между държавните органи, за да ги убеди, че не притежава кола и че наистина е бедна.
Властите не й се довериха – повярваха на техния алгоритъм. Борбата й да получи полагаемата й се субсидирана храна стигна до Върховния съд на Индия.
Семейството на Бий е посочено като „под прага на бедността“ в записите от преброяването на населението в Индия. Класификацията позволи на нея и съпруга й достъп до социалните помощи на държавата, включително до 12 килограма ориз за една рупия (0,012 долара) за кг срещу пазарната цена от около 40 рупии (0,48 долара).
Индия изпълнява една от най-големите програми за продоволствена сигурност в света, която обещава субсидирани зърнени храни на около две трети от нейното население от 1,4 милиарда.
Исторически правителствени служители са проверявали и одобрявали допустимостта на кандидатите за социални помощи чрез посещения на място и физически проверки на документи. Но през 2016 г. предишното правителство на Телангана, под партията Bharat Rashtra Samithi, започна да въоръжава служителите със Samagra Vedika, алгоритмична система, която консолидира данните на гражданите от няколко правителствени бази данни, за да създаде изчерпателни цифрови профили или „360-градусови изгледи“.
Физическата проверка все още се изискваше, но според новата система длъжностните лица бяха упълномощени да проверят дали алгоритмичната система одобрява допустимостта на кандидата, преди да вземат собствено решение. Те биха могли или да се придържат към предвиждането на алгоритъма, или да предоставят своите причини и доказателства, за да се противопоставят на него.
Първоначално въведена от държавната полиция за идентифициране на престъпници, системата сега се използва широко от държавното правителство за установяване на допустимостта на кандидатите за социални помощи и за улавяне на измами със социални помощи.
В случая на Bee обаче Samagra Vedika обърка покойния й съпруг Syed Ali, водач на рикша, със Syed Hyder Ali, собственик на кола – и властите приеха думата на алгоритъма.
Пчелата не е единствената жертва на такава дигитална измама. От 2014 г. до 2019 г. Telangana анулира повече от 1,86 милиона съществуващи карти за хранителна сигурност и отхвърли 142 086 нови заявления без предизвестие.
Първоначално правителството твърдеше, че всички те са били измамни претенденти за субсидия и че възможността да „отсее“ недопустимите бенефициенти му е спестила големи суми пари.
Но нашето разследване разкрива, че няколко хиляди от тези изключвания са направени погрешно, поради грешни данни и лоши алгоритмични решения от Samagra Vedika.
След като бъдат изключени, отстранените бенефициенти имат задължението да докажат на държавните агенции, че са имали право на субсидираната храна.
Дори когато го правеха, служителите често предпочитаха решението на алгоритъма.
Алгоритми за възход на благосъстоянието
Индия харчи приблизително 13 процента от своя брутен вътрешен продукт (БВП) или близо 256 милиарда долара за осигуряване на социални помощи, включително субсидирана храна, торове, газ за готвене, застраховка на реколтата, жилища и пенсии, наред с други.
Но социалните схеми исторически са били измъчвани от оплаквания за „изтичане“. Правителството установи в няколко случая, че или корумпирани служители са отклонили субсидии към кандидати, които не отговарят на условията, или измамни кандидати са представили погрешно своята самоличност или право на кандидатстване за обезщетения.
През последното десетилетие федералното и няколко щатски правителства все повече разчитаха на технологии, за да запушат тези течове.
Първо, за да предотвратят измами със самоличност, те свързаха схемите с Aadhaar, противоречивият биометричен уникален идентификационен номер, предоставян на всеки индиец.
Но Aadhaar не проверява дали ищците отговарят на условията. И така, през последните няколко години няколко държави приеха нови технологии, които използват алгоритми – непрозрачни за обществеността – за проверка на това допустимост.
През изминалата година Ал Джазира проучи използването и въздействието на такива алгоритми за благосъстояние в партньорство с мрежата за отчетност на Центъра за изкуствен интелект Пулицър. Първата част от нашата поредица разкрива как безпрепятственото използване на непрозрачната и безотчетна Самагра Ведика в Телангана е лишило хиляди бедни хора от законната им субсидирана храна в продължение на години, което допълнително се влошава от безполезни държавни служители.
Самагра Ведика беше критикуван в миналото за потенциалната си злоупотреба при масово наблюдение и риск за поверителността на гражданите, тъй като проследява живота на 30-те милиона жители на щата. Но неговата ефикасност при залавянето на измами със социални помощи не е проучена досега.
В отговор на подробни въпроси, изпратени от Ал Джазира, Джайеш Ранджан, главен секретар в отдела за информационни технологии в Телангана, каза, че по-ранната система за лична проверка е била „базирана на преценката на служители, непрозрачна и злоупотребявана и доведе до корупция. Samagra Vedika въведе прозрачен и отговорен метод за идентифициране на бенефициенти, който е оценен от гражданите.”
Непрозрачен и неотчетен
Telangana проектира Samagra Vedika като пионерска технология в автоматизирането на решенията за хуманно отношение.
Posidex Technologies Private Limited, компанията, разработила Samagra Vedika, казва на уебсайта си, че „може да спести няколкостотин крори всяка година за правителствата на държавата чрез идентифициране на течове“. Други щати са го наели да разработва подобни платформи.
Но нито държавното правителство, нито компанията са публикували изходния код на Samagra Vedika – писменият набор от инструкции, които изпълняват компютърна програма – или каквито и да било други проверими данни в подкрепа на техните твърдения.
В световен мащаб изследователите твърдят, че изходните кодове на правителствени алгоритми трябва да бъдат независимо одитирани, за да може да се установи точността на техните прогнози.
Щатският ИТ отдел отхвърли исканията ни съгласно Закона за правото на информация за споделяне на изходния код и форматите на данните, използвани от Samagra Vedika за вземане на решения, като каза, че компанията има „права върху“ тях. Posidex Technologies отказа исканията ни за интервю.
Над дузина интервюта с държавни служители, активисти и хора, изключени от социални схеми, както и преглед на набор от документи, включително записи на наддаване, ни дадоха представа за това как Samagra Vedika използва алгоритми за триангулиране на самоличността на човек в множество правителства бази данни – до 30 – и комбинира цялата информация, за да изгради профил на човек.
Самагра Ведика първоначално беше създадена през 2016 г. за комисарството на полицията в Хайдерабад, за да създаде профили на хора, представляващи интерес. През същата година той беше въведен в схемата за продоволствена сигурност като пилотен проект, а до 2018 г. беше включен в повечето държавни схеми за социално подпомагане.
Съгласно правилата за продоволствена сигурност на Телангана, картите за продоволствена сигурност се издават на най-възрастната жена член на семейства, които имат годишен доход под 150 000 рупии ($1823) в селските райони и 200 000 рупии ($2431) в градските райони.
Правителството също налага допълнителни критерии за допустимост: семейството не трябва да притежава четириколесно превозно средство и никой член на семейството не трябва да има редовна държавна или частна работа или да притежава какъвто и да е бизнес като магазин, бензинова помпа или оризова мелница.
Тук влиза в действие Самагра Ведика. Когато се повдигне заявка, тя преглежда различните бази данни. Ако намери достатъчно близко съвпадение, което нарушава някой от критериите, маркира ищеца като недопустим.
Грешки и вреда
Тъй като има огромни вариации в начина, по който имената и адресите се записват в различните бази данни, Samagra Vedika използва „машинно обучение“ и „технология за разрешаване на обекти“, за да идентифицира уникално човек.
Правителството по-рано каза, че технологията е с „висока точност“; че „никога не пропуска правилното съвпадение“ и получава „най-малък брой фалшиви положителни резултати“.
Също така се каза, че грешката при маркиране на превозно средство или къща на грешен човек се случва в по-малко от пет процента от всички случаи и че повечето от тези грешки са коригирани.
Но наложена от Върховния съд повторна проверка на отхвърлените карти за храна показва, че границата на грешка е много по-висока.
През април 2022 г., в случай, първоначално заведен от социалния активист SQ Masood от името на изключените семейства, върховният съд нареди на правителството да извърши полева проверка на всичките 1,9 милиона карти, изтрити от 2016 г. насам.
От 491 899 заявления, получени за проверка, държавата е обработила 205 734 до юли 2022 г., последните публично достъпни данни. От тях 15 471 заявления са одобрени, което предполага, че най-малко 7,5 процента от картите са били неправомерно отхвърлени.
„Намерихме много наистина нуждаещи се семейства, чиито заявления за [карта за хранителна сигурност] бяха отхвърлени поради неправилно маркиране“, каза Масуд, който работи с Асоциацията за социално-икономическо овластяване на маргинализираните (ASEEM), организация с нестопанска цел . „Те бяха неправомерно [маркирани] за това, че имат четириколесни коли, плащат данък върху собствеността или са държавни служители.“
Петицията изброява около 10 случая на неправомерно изключване. Al Jazeera посети три от тях и може да потвърди, че са маркирани погрешно от Samagra Vedika.
Дейвид Нолан, старши разследващ изследовател в лабораторията за алгоритмична отчетност към Amnesty International, казва, че обосновката за внедряването на системи като Samagra Vedika в предоставянето на социални помощи се основава на наличието на достатъчен брой измамни кандидати, което на практика е вероятно за да увеличите броя на неправилните съвпадения.
Фалшив положителен резултат възниква, когато системата неправилно маркира легитимно приложение като измамно или дублиращо се, а фалшиво отрицателен резултат възниква, когато системата етикетира измамно или дублиращо се приложение като легитимно. „Инженерите ще трябва да намерят баланс между тези две грешки, тъй като едната не може да бъде намалена без риск от увеличаване на другата“, каза Нолан.
Последствията от фалшивите положителни резултати са големи, тъй като това означава, че на индивид или семейство погрешно е отказана основна подкрепа.
„Докато правителството твърди, че ги свежда до минимум при използването на Samagra Vedika, тези системи имат и финансова цена и държавата трябва да докаже стойност за парите си, като открие достатъчно измамни или дублиращи се приложения. Това стимулира правителствата да използват автоматизирани системи за намаляване на броя на фалшивите отрицателни резултати, което води до увеличаване на процента на фалшивите положителни резултати – което води до несправедливо изключване на отговарящите на условията семейства от предоставянето на социални помощи“, добави Нолан.
Ранджан отхвърли притесненията като „опасения“ и каза, че всички щати се опитват да „минимизират грешките при включването и изключването във всички програми за социално подпомагане … Правителството на Телангана е изпълнило проект, наречен Samagra Vedika, използвайки най-новите технологии като големи данни и т.н. за същите цели“ .
Той добави, че правителството е следвало същата практика при придобиването на Samagra Vedika, както прави за други софтуерни програми чрез открит търг и че използването на Samagra Vedika е проверено от различни отдели за различни размери на извадката на различни места, които откриха „много високи нива на точност“. Това, каза той, беше допълнително подсилено от проверки на място от различни отдели.
Алгоритми над хора
След като картата за продоволствена сигурност на Би беше анулирана през 2016 г., властите разглеждаха молбата й за подновяване четири години, преди най-накрая да я отхвърлят през 2021 г., защото твърдяха, че тя притежава четириколка.
„Ако имахме пари да си купим кола, защо щяхме да живеем така?“ – пита Бий. „Ако служителите дойдоха в къщата ми, може би те също щяха да видят това. Но никой не ни посети.”
С помощта на ASEEM, организацията с нестопанска цел, тя изрови регистрационния номер на превозното средство, което се предполага, че съпругът й притежава, и намери истинския му собственик.
Когато Bee представи доказателствата, служителите се съгласиха, че има алгоритмична грешка, но казаха, че нейното приложение
